黑科技!18+ 开源 AI 工具箱
随着人工智能 AI 技术的发展,现在也越来越多的软件采用了 AI 技术,例如之前锋哥给大家分享过的清华大学的一些 AI 工具,包括有反向辞典、文字校对、据意查句、一键生成诗词等。同时还有视频补帧、智能抠图、语音合成、人像修复、去除马赛克等流行的 AI 项目。
如果你对这些 AI 项目感兴趣的话,今天锋哥要给大家分享这个「Paper2GUI」免费的 AI 桌面 APP 工具箱,根据作者介绍已支持 18+ AI模型,内容涵盖语音合成、视频补帧、视频超分、目标检测、图片风格化、OCR识别等领域。支持Windows、Mac、Linux系统,未来还将适配安卓和苹果设备,另外还有小程序。
AI 语音合成适用于配音、讲解、说书等场景,相比传统 TTS 有着特殊优势:有呼吸声、万千音色、自然流畅、媲美真人。
目前提供了三种语音合成,分别是微软语音、火山语音、阿里云语音,操作简单、支持音效试听、支持无限多开、中文语音丰富、自带呼吸声,效果逼真。
因为是使用了第三方接口,微软语音、火山语音、阿里云语音需要一定的付费,免费的有限制,作者也提供了免费的使用,你也可以自己去申请相关的 APPID 和 Token 密钥。
目前一般来说视频的帧数在 30FPS 左右,加上拍摄视频为了节省成本,几乎大多数电影都是 24 帧拍摄的。现在 30FPS 的影片已经开始满足不了一些人的观感了,例如我们玩游戏通常需要到 60 帧才会发现画面是流畅的。所以可以借助 AI 软件来实现插帧。
AI视频补帧提供了 Dian-GUI 和 RIFE-GUI 两个版本,根据作者推荐用 RIFE-GUI 版本,无需繁琐设置,零依赖,开箱即用的一款视频补帧工具,经过智能补帧算法,可实现丝滑流畅画质。
AI视频补帧帧率方面支持选择 60、90、120、240、360,转换的时间根据你电脑的性能了,默认使用 GPU 加速处理,较高要求 4K/60FPS 如果需要多显卡支持,作者表示未来会考虑加入多显卡支持。
对于一些老旧视频、电影想要转换成高分辨率在以前是靠人工逐帧修复,成本非常高,修复的时间也很长,据说每人每天可能只能修复二三十秒,修复一部电影甚至需要两三年的时间。
而现在可以用 AI 来自动超分辨率放大,支持把视频放大2倍、3倍、4倍,甚至优化画质。AI视频超分辨放大目前提供了四种超分模型,分别是 RealCugan、RealESRGAN、RealSR、waifu2x,不同算法对不同的图像效果不一样,例如动漫类的可以优先考虑用 waifu2x 。
软件使用很简单,你只需要输入文件路径,选择要放大的倍数,开始处理即可。不过对硬件要求比较高,低配置电脑耐心等待处理了。
之前很流行把自己的头像变成卡通动漫风格,通常需要自己用 PS 等软件处理,不过现在用 AI 算法也可以快速转换,目前开源算法主要用的 AnimeGAN,软件使用很简单,打开图片直接开始处理即可。
不过作者也说了,因技术限制,目前只适合矩形图片转换,照片最好要清晰。抓换后的漫画可以采用超分辨工具进行二次优化。
图片抠图没什么难度,但是手动对视频抠图就比较麻烦了,现在借助 AI 智能算法 RVM、MODNet、MobileNetV2 等可以自动抠出图片。使用也很简单,导入视频后点击开始按钮处理即可。
需要注意的是,因为是采用 GPU 加速,所以同样你需要一个给力的显卡。输出的效果支持绿幕背景,方便你导入视频编辑软件进一步合成处理。
对于一些有纪念价值的老旧照片,如果损坏的话想要修复比较麻烦,现在用 AI 技术可以自动对丢失的细节进行自动绘制。据介绍,这个项目采用的是 GFPGAN 腾讯开源的人脸修复算法,它利用预先训练好的面部 GAN(中封装的丰富和多样的先验因素进行盲脸修复。
修复效果还支持给黑白的照片上色,不过如果你的照片损坏的太严重,那么修复的效果也是不太理想,只能等 AI 算法继续训练了。
AI抠图现在已经很成熟了,有非常多的在线 AI 智能抠图网站,例如比较流行的 remove.bg,识别和抠图的结果都非常不错。现在用 Paper2GUI 也可以本地人像抠图了,支持设置抠图后的背景,例如透明、绿幕。
不过目前这个模型算法的抠图效果并不太好,对于比较复杂背景图片,例如毛发,识别抠出来的效果比较一般了。
AI目标检测可以识别视频/图片里面的一些东西,采用 Yolo 目标算法,支持的检测比如物体检测、口罩检测、车牌检测、车辆检测、苹果质量等级检测等等。
以上这些工具都是基于开源的 AI 项目制作成 GUI 界面版本,方便大家使用了。所有依赖和模型都是内嵌的,所有打包输出的桌面APP都是可以开箱即用。
另外「Paper2GUI」项目都是独立软件,并不是整合在一起,你可以根据你的需求来选择性下载。
最后就是这个项目作者还在继续开发中,目前一些 AI 项目使用的效果未必很好,感兴趣的可以继续关注后续的更新吧。
下载地址
项目地址:
https://github.com/Baiyuetribe/paper2gui123网盘:
https://www.123pan.com/s/c8zA-eWzN3百度网盘:
https://pan.baidu.com/s/11tuOV7Avj1Yi0xD_9ppNTg?pwd=7525
相关文章